Fraser đã gặp nữ diễn viên Afton Smith trong khi tham dự một bữa tiệc thịt nướng tại nhà của nữ diễn viên Winona Ryder vào ngày 4 tháng 7 năm 1993, sau khi tới Los Angeles.[4] Fraser kết hôn với Smith ngày 27 tháng 9 năm 1998 và có với nhau ba con trai là:

• Griffin Arthur Fraser [1] sinh ngày 17 tháng 9 năm 2002.
• Holden Fletcher Fraser sinh ngày 16 tháng 8 năm 2004.
• Leland Francis Fraser sinh ngày 02 tháng 5 năm 2006.

Vào ngày 27 tháng 12 năm 2007, Fraser đã chính thức thông báo công khai về quyết định ly dị của anh và Smith.[9][10] Hiện tại anh đang sống tại Greenwich, Connecticut.

Anh thông thạo tiếng Pháp.[11] Fraser cũng làm việc trong Hội đồng quản trị của FilmAid International.[12]

Fraser là cũng từng là một nhiếp ảnh gia nghiệp dư.[2] Anh ấy đã từng vài lần dùng Polaroids trên phim và trên chương trình truyền hình, đáng chú ý nhất là vai trò khách mời của anh trên Scrubs. Ở lần xuất hiện đầu tiên anh đã dùng máy ảnh bỏ túi (có thể là kiểu Model 450); Và trong lần xuất hiện thứ hai, anh đã dùng Holga với Polaroid back, kiểu Japanese-only. Quyển sách "Collector's Guide to Instant Cameras" có sự đóng góp của Fraser.